hive on spark 问题梳理及分区数设置

您所在的位置：网站首页 › hive on spark spark on hive › hive on spark 问题梳理及分区数设置

hive on spark 问题梳理及分区数设置

#hive on spark 问题梳理及分区数设置| 来源: 网络整理| 查看: 265

今天有这么个需求与本篇相关的部分就是：我需要从hive的一张表根据其中某个字段去提取timestamp 作为时间分区字段用insert into 得开启动态分区再一个问题就是系统需要新建分区几千个

我们是用的hive on spark，一开始就报错

FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed due to: Job aborted due to stage failure: Aborting TaskSet 1.0 because task 0 (partition 0) cannot run anywhere due to node and executor blacklist. Most recent failure: Lost task 0.1 in stage 1.0 (TID 2, ajxt-hdp-dn04, executor 2): UnknownReason

然后查看yarn的日志里报错内容

(base) [wind@hadoop10 ~]$ yarn logs -applicationId application_1673200122747_248862 | grep 'Caused by' WARNING: YARN_OPTS has been replaced by HADOOP_OPTS. Using value of YARN_OPTS. 23/06/09 15:35:22 INFO client.RMProxy: Connecting to ResourceManager at hadoop8/172.16.20.60:8032 Caused by: java.lang.ClassNotFoundException: org.antlr.runtime.tree.CommonTree Caused by: java.lang.ClassNotFoundException: org.antlr.runtime.tree.CommonTree Caused by: org.apache.spark.SparkException: Job aborted due to stage failure:

根据报错内容查了一下因为hive on spark环境jar包问题所致但是懒得去弄了

--设置mr引擎 set hive.execution.engine=mr; --开启动态分区 set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; //每个Map最大输入大小(这个值决定了合并后文件的数量) set mapred.max.split.size=256000000; //一个节点上split的至少的大小(这个值决定了多个DataNode上的文件是否需要合并) set mapred.min.split.size.per.node=100000000; //一个交换机下split的至少的大小(这个值决定了多个交换机上的文件是否需要合并) set mapred.min.split.size.per.rack=100000000; //执行Map前进行小文件合并 set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; //设置map端输出进行合并，默认为true set hive.merge.mapfiles = true //设置reduce端输出进行合并，默认为false set hive.merge.mapredfiles = true //设置合并文件的大小 set hive.merge.size.per.task = 256*1000*1000 //当输出文件的平均大小小于该值时，启动一个独立的MapReduce任务进行文件merge。 set hive.exec.max.dynamic.partitions.pernode=5000; set hive.exec.max.dynamic.partitions=5000;

成功解决引擎问题小文件合并问题动态分区数过多超限问题

【本文地址】

hive on spark 问题梳理及分区数设置

hive on spark 问题梳理及分区数设置

今日新闻

推荐新闻